Agnes được sinh ra là Agnes Smyth Powell trong một gia đình có 10 người con, là người con thứ chín và con gái thứ ba. Cha của bà, Mục sư Baden Powell, là giáo sư toán học tại Đại học Oxford. Mẹ của bà tên là Henrietta Grace Smyth là người vợ thứ ba của Mục sư Baden Powell (hai người vợ đầu đã mất) và cũng là một nghệ nhân và người chơi nhạc thiên tài. Khi Agnes mới hai tuổi, Mục sự Baden Powell qua đời. Để vinh danh ông sau khi mất, gia đình ông đã thêm tên của ông vào họ của gia đình và kể từ đó họ của gia đình được biết đến là Baden-Powell.

Cái chết của cha bà để gia đình dưới quyền điều khiển vững vàng của mẹ bà là Henrietta, người quyết định thực hiện từ từ ước muốn của mình là thành công trong việc dạy dỗ các con. Như anh trai của Agnes là Robert đã được trích dẫn "Toàn bộ bí quyết thành nhân của tôi đến từ mẹ tôi."[1]

Agnes trở thành một người chơi âm nhạc thành công với đàn organ, piano và violin. Bà cũng có rất nhiều sở thích bao gồm lịch sử tự nhiên và thiên văn học và nuôi ong ở nhà.